模式识别与人工智能
2025年4月6日 星期日   首 页     期刊简介     编委会     投稿指南     伦理声明     联系我们                                                                English
模式识别与人工智能  2020, Vol. 33 Issue (4): 363-374    DOI: 10.16451/j.cnki.issn1003-6059.202004009
研究与应用 最新目录| 下期目录| 过刊浏览| 高级检索 |
基于并行对抗与多条件融合的生成式高分辨率图像修复
邵杭1, 王永雄1
1.上海理工大学 光电信息与计算机工程学院 自动化系 上海 200093
Generative High-Resolution Image Inpainting with Parallel Adversarial Network and Multi-condition Fusion
SHAO Hang1, WANG Yongxiong1
1.Department of Automation, School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093

全文: PDF (7693 KB)   HTML (1 KB) 
输出: BibTeX | EndNote (RIS)      
摘要 现有的图像修复算法经常会有伪影、语义不准等问题出现,对于缺失较大、分辨率较高的图像,修复效果有限.为此,文中提出基于并行对抗与多条件融合的二阶图像修复网络.首先,利用改进的深度残差网络对缺失图像进行生成式像素填充,并利用第一阶对抗网络补全边缘.然后,提取填充图颜色特征,融合补全边缘图,将融合图作为第二阶对抗网络的条件标签.最后,通过带上下文注意力模块的第二阶网络得到修复结果.在多个数据集上的实验表明,文中算法可获得较逼真的修复效果.
服务
把本文推荐给朋友
加入我的书架
加入引用管理器
E-mail Alert
RSS
作者相关文章
邵杭
王永雄
关键词 深度学习图像修复生成对抗网络多条件融合上下文注意力机制    
Abstract:Regions with artifacts and semantic inaccuracy are often caused by existing image inpainting algorithms. Moreover, the inpainting effect is limited for images with large missing regions and high-resolution. Therefore, a two-stage image inpainting approach based on parallel adversarial network and multi-condition fusion is proposed in this paper. Firstly, an improved deep residual network is utilized to fill the corrupted image. The first-stage adversarial network is employed to complete the image edge map. Next, the color feature of the filled image is extracted and fused with the completed edge image. Then, the fused image is applied as the condition label of the second-stage adversarial network. Finally, the inpainting result is obtained by the second-stage network with a contextual attention module. Experiments on multiple public datasets demonstrate that realistic inpainting results can be obtained by the proposed approach.
Key wordsDeep Learning    Image Inpainting    Generative Adversarial Network    Multi-condition Fusion    Contextual Attention Mechanism   
收稿日期: 2020-01-10     
ZTFLH: TP 391  
基金资助:国家自然科学基金项目(No.61673276)资助
通讯作者: 王永雄,博士,教授,主要研究方向为机器学习、深度学习、智能算法.E-mail:wyxiong@usst.edu.cn.   
作者简介: 邵 杭,硕士研究生,主要研究方向为模式识别、图像处理、计算机视觉.E-mail:932390809@qq.com.
引用本文:   
邵杭, 王永雄. 基于并行对抗与多条件融合的生成式高分辨率图像修复[J]. 模式识别与人工智能, 2020, 33(4): 363-374. SHAO Hang, WANG Yongxiong. Generative High-Resolution Image Inpainting with Parallel Adversarial Network and Multi-condition Fusion. , 2020, 33(4): 363-374.
链接本文:  
http://manu46.magtech.com.cn/Jweb_prai/CN/10.16451/j.cnki.issn1003-6059.202004009      或     http://manu46.magtech.com.cn/Jweb_prai/CN/Y2020/V33/I4/363
版权所有 © 《模式识别与人工智能》编辑部
地址:安微省合肥市蜀山湖路350号 电话:0551-65591176 传真:0551-65591176 Email:bjb@iim.ac.cn
本系统由北京玛格泰克科技发展有限公司设计开发 技术支持:support@magtech.com.cn